在人类人类客户支持语音互动期间的代理协助需要根据呼叫者的意图触发工作流程(通话原因)。预测的及时性对于良好的用户体验至关重要。目的是使系统在代理商能够检测到它时检测呼叫者的意图(意图边界)。一些方法着重于预测离线输出,即,一旦ASR系统处理了完整的口语输入(例如,整个对话转弯)。每当在转弯中早些时候可以检测到意图时,这会引入预测中的不良延迟。关于语音助手的最新工作已在单词层面上使用增量实时预测,以在命令结束之前检测意图。但是,人指导和机器指导的语音具有截然不同的特征。在这项工作中,我们建议将一种在语音辅助方面开发的方法应用于在线实时呼叫者在人类口语互动中的意图检测问题。我们使用双重体系结构,其中两个LSTM共同训练:一个预测意图边界(IB),然后预测IB处的意图类别。我们在私人数据集上进行实验,其中包括来自电信客户支持域的人类电话交谈的成绩单。我们报告结果分析了系统的准确性以及不同体系结构对整体准确性和预测潜伏期之间的权衡的影响。
translated by 谷歌翻译
社交媒体平台上的假新闻,误导和无法验证的事实宣传了不和谐,影响社会,特别是在处理像Covid-19这样的流行病时。假新闻检测的任务旨在通过将新闻项目分类为假或真实的新闻项目来解决这种错误信息的影响。在本文中,我们提出了一种新的方法,通过自动收集每个索赔的证据来改善目前的自动自动假新闻检测方法。我们的方法从Web艺术品中提取支持证据,然后选择待视为证据组的适当文本。我们在这些证据组上使用预先训练的摘要,然后使用提取的摘要作为支持证据来帮助分类任务。我们的实验,使用机器学习和基于深度学习的方法,有助于对我们的方法进行广泛的评估。结果表明,我们的方法优于假新闻检测中的最先进方法,以在为约束-2021共享任务提供的数据集中实现99.25的F1分数。我们还释放了任何进一步研究的增强数据集,我们的代码和模型。
translated by 谷歌翻译
在计算机视觉中探索的分销(OOD)检测良好的虽然,但在NLP分类的情况下已经开始较少尝试。在本文中,我们认为这些目前的尝试没有完全解决ood问题,并且可能遭受数据泄漏和所产生模型的校准差。我们呈现PNPOOD,通过使用最近提出的即插即用语言模型(Dathathri等,2020),通过域外样本生成进行数据增强技术来执行OOD检测。我们的方法产生靠近阶级边界的高质量辨别样本,从而在测试时间内进行准确的检测。我们展示了我们的模型优于预先样本检测的现有模型,并在20次新闻组文本和斯坦福情绪Teebank数据集上展示较低的校准错误(Lang,1995; Socheret al。,2013)。我们进一步突出显示了在EAC检测的先前尝试中使用的数据集进行了重要的数据泄露问题,并在新数据集中分享结果,以便无法遭受同样问题的检测。
translated by 谷歌翻译
In this work, we devise robust and efficient learning protocols for orchestrating a Federated Learning (FL) process for the Federated Tumor Segmentation Challenge (FeTS 2022). Enabling FL for FeTS setup is challenging mainly due to data heterogeneity among collaborators and communication cost of training. To tackle these challenges, we propose Robust Learning Protocol (RoLePRO) which is a combination of server-side adaptive optimisation (e.g., server-side Adam) and judicious parameter (weights) aggregation schemes (e.g., adaptive weighted aggregation). RoLePRO takes a two-phase approach, where the first phase consists of vanilla Federated Averaging, while the second phase consists of a judicious aggregation scheme that uses a sophisticated reweighting, all in the presence of an adaptive optimisation algorithm at the server. We draw insights from extensive experimentation to tune learning rates for the two phases.
translated by 谷歌翻译
Learning classifiers using skewed or imbalanced datasets can occasionally lead to classification issues; this is a serious issue. In some cases, one class contains the majority of examples while the other, which is frequently the more important class, is nevertheless represented by a smaller proportion of examples. Using this kind of data could make many carefully designed machine-learning systems ineffective. High training fidelity was a term used to describe biases vs. all other instances of the class. The best approach to all possible remedies to this issue is typically to gain from the minority class. The article examines the most widely used methods for addressing the problem of learning with a class imbalance, including data-level, algorithm-level, hybrid, cost-sensitive learning, and deep learning, etc. including their advantages and limitations. The efficiency and performance of the classifier are assessed using a myriad of evaluation metrics.
translated by 谷歌翻译
Large language models (LLMs) have led to a series of breakthroughs in natural language processing (NLP), owing to their excellent understanding and generation abilities. Remarkably, what further sets these models apart is the massive amounts of world knowledge they internalize during pretraining. While many downstream applications provide the model with an informational context to aid its performance on the underlying task, how the model's world knowledge interacts with the factual information presented in the context remains under explored. As a desirable behavior, an LLM should give precedence to the context whenever it contains task-relevant information that conflicts with the model's memorized knowledge. This enables model predictions to be grounded in the context, which can then be used to update or correct specific model predictions without frequent retraining. By contrast, when the context is irrelevant to the task, the model should ignore it and fall back on its internal knowledge. In this paper, we undertake a first joint study of the aforementioned two properties, namely controllability and robustness, in the context of LLMs. We demonstrate that state-of-the-art T5 and PaLM (both pretrained and finetuned) could exhibit poor controllability and robustness, which do not scale with increasing model size. As a solution, we propose a novel method - Knowledge Aware FineTuning (KAFT) - to strengthen both controllability and robustness by incorporating counterfactual and irrelevant contexts to standard supervised datasets. Our comprehensive evaluation showcases the utility of KAFT across model architectures and sizes.
translated by 谷歌翻译
随着网络攻击和网络间谍活动的增长,如今需要更好,更强大的入侵检测系统(IDS)的需求更加有必要。 ID的基本任务是在检测Internet的攻击方面充当第一道防线。随着入侵者的入侵策略变得越来越复杂且难以检测,研究人员已经开始应用新颖的机器学习(ML)技术来有效地检测入侵者,从而保留互联网用户对整个互联网网络安全的信息和整体信任。在过去的十年中,基于ML和深度学习(DL)架构的侵入检测技术的爆炸激增,这些架构在各种基于网络安全的数据集上,例如DARPA,KDDCUP'99,NSL-KDD,CAIDA,CAIDA,CTU--- 13,UNSW-NB15。在这项研究中,我们回顾了当代文献,并提供了对不同类型的入侵检测技术的全面调查,该技术将支持向量机(SVMS)算法作为分类器。我们仅专注于在网络安全中对两个最广泛使用的数据集进行评估的研究,即KDDCUP'99和NSL-KDD数据集。我们提供了每种方法的摘要,确定了SVMS分类器的作用以及研究中涉及的所有其他算法。此外,我们以表格形式对每种方法进行了批判性综述,突出了所调查的每种方法的性能指标,优势和局限性。
translated by 谷歌翻译
半监督域适应性(SSDA)中的主要挑战之一是标记源和目标样本数量之间的偏差比,导致该模型偏向源域。 SSDA中的最新作品表明,仅将标记的目标样品与源样本对齐可能导致目标域与源域的不完全域对齐。在我们的方法中,为了使两个域对齐,我们利用对比的损失,使用来自两个域的监督样本学习语义上有意义的域不可知特征空间。为了减轻偏斜标签比率引起的挑战,我们通过将其特征表示形式与来自源和目标域的标记样品的特征表示形式进行比较,为未标记的目标样本进行了伪造。此外,为了增加目标域的支持,在训练过程中,这些潜在的嘈杂的伪标签逐渐被逐渐注入标记的目标数据集中。具体而言,我们使用温度缩放的余弦相似性度量将软伪标签分配给未标记的目标样品。此外,我们计算每个未标记样品的软伪标签的指数移动平均值。这些伪标签逐渐注入或删除)(从)基于置信阈值(以补充源和目标分布的比对)(从)中(从)中。最后,我们在标记和伪标记的数据集上使用有监督的对比损失来对齐源和目标分布。使用我们提出的方法,我们在SSDA基准测试中展示了最先进的性能-Office-Home,Domainnet和Office-31。
translated by 谷歌翻译
深度学习已被广​​泛应用于神经影像学,包括预测磁共振成像(MRI)体积的脑表型关系。 MRI数据通常需要进行广泛的预处理,然后才能通过深度学习准备建模,部分原因是其高维和异质性。各种MRI预处理管道都有自己的优势和局限性。最近的研究表明,即使使用相同的数据,与管道相关的变化也可能导致不同的科学发现。同时,机器学习社区强调了从以模型为中心转移到以数据为中心的方法的重要性,因为数据质量在深度学习应用中起着至关重要的作用。在这个想法的激励下,我们首先评估预处理管道选择如何影响监督学习模型的下游表现。接下来,我们提出了两个管道不变表示方法MPSL和PXL,以提高分类性能的一致性并捕获管道对之间的类似神经网络表示。使用来自英国生物库数据集的2000名人类受试者,我们证明了这两种模型都具有独特的优势,特别是可以使用MPSL来改善对新管道的样本概括,而PXL则可以用来提高预测性能一致性和代表性封闭管道集中的相似性。这些结果表明,我们提出的模型可用于克服与管道相关的偏差,并提高神经成像预测任务的可重复性。
translated by 谷歌翻译
大型预估计模型(例如GPT-3)取得了显着的性能,在训练过程中暴露于大量数据上。类似地,将如此大型模型提炼成紧凑的模型以进行有效的部署,也需要大量(标记或未标记的)培训数据。在本文中,我们提出了培训高质量紧凑型模型的教师指导培训(TGT)框架,该模型利用了预验证的生成模型获得的知识,同时避免了大量数据的需求。 TGT利用了教师获得基础数据域的良好表示的事实,该事实通常对应于比输入空间要低得多的尺寸歧管。此外,我们可以使用老师通过采样或基于梯度的方法来更有效地探索输入空间。因此,使TGT对于有限的数据或长尾设置特别有吸引力。我们正式在我们的概括范围内正式捕获了所提出的数据域探索的好处。我们发现TGT可以提高几个图像分类基准以及一系列文本分类和检索任务的准确性。
translated by 谷歌翻译